4A bermula pada tahun 1995 apabila sekumpulan artis, kurator dan pembuat teater memulakan mesyuarat untuk membincangkan cara menggalakkan kreatif Asia Australia dan menyumbang kepada wacana kebangsaan tentang budaya Australia, dan untuk meluaskan pemahaman tentang apa yang membentuk seni Australia, dan membawa perubahan struktur. Mereka menubuhkan Asian Australian Artists Association Inc. pada tahun 1996, untuk "membentangkan dan mempromosikan karya artis Asia dan Asia-Australia". Persatuan ini pada mulanya tertumpu pada kedua-dua teater dan seni visual. Organisasi itu kemudiannya dibahagikan kepada Galeri 4A (dibuka pada tahun 1997) dan Performance 4A (yang kemudiannya berpecah dan menjadi Contemporary Asian Australian Performance, sebuah syarikat pemastautin di Carriageworks).[1] Founding artists and curators included Filipino-Australian artist Victoria Lobregat,[2] Vietnamese-born Dacchi Dang,[3][4] Hong Kong-born John Young[5] and Melissa Chiu, who was also the inaugural director.[6][7]

4A telah ditubuhkan pada penghujung kerajaan Keating, yang telah menjalin hubungan dengan dan terlibat dengan Asia. Tidak lama selepas itu Pauline Hanson, yang mempersoalkan nilai multikulturalisme di Australia dan mengeluarkan retorik anti-Asia (menunjukkan bahawa Australia "dalam bahaya dibanjiri oleh orang Asia"),[1] was emerging in Australian politics,[8] dan oleh itu matlamat berterusan organisasi adalah untuk "menyerlahkan sumbangan budaya penghijrahan Asia ke Australia dan untuk membangunkan hubungan budaya Asia dan Australia".[9] Walau bagaimanapun, pada masa yang sama, pengaruh kedua-dua seni Original Australia dan pendatang Australia sedang dirasai dan dibincangkan di persidangan, secara bertulis dan dalam kalangan artistik.[1]

Galeri pertama, dipanggil Galeri 4A, dibuka di Sussex Street pada tahun 1997, di Pekan Cina Sydney,[10] sebelum berpindah pada tahun 1999 ke tapak yang lebih besar dengan dua galeri di Liverpool Street dan sekali lagi pada tahun berikutnya ke lokasi semasanya di Hay Street dalam senarai warisan Bangunan Perbadanan, dimiliki oleh City of Sydney.[9][1]

In 2003[11] and 2004 fundraising exhibitions were mounted at the gallery, which was then known as the Asia-Australia Arts Centre[12] (nama yang dikekalkan sehingga 2009[13]). At that time public funding accounted for only around 20% of total income.[14]

Pada tahun 2006, Galeri 4A bekerjasama dengan Sydney Biennale buat kali pertama, memaparkan karya di "Galeri 4a di Pusat Seni Asia-Australia" untuk edisi ke-15 acara itu dari Jun hingga Ogos.[15][16]

Pada tahun 2009 organisasi itu dinamakan semula sebagai Pusat Seni Asia Kontemporari 4A.[9] Ada kalanya pada tahun 2000-an dan awal 2010-an apabila 4A hampir jatuh kerana kekurangan dana.[1]

Pada tahun 2012, pengarah 4A Aaron Seeto (2008–2015[17][18]) menulis penyerahan bagi pihak pusat sebagai tindak balas kepada kertas perbincangan oleh Arts NSW, mengenai dasar seni dan budaya untuk negeri, khususnya perkara kepelbagaian budaya dan bahasa (CALD) dalam seni.[19]

Pada Mac 2014 Edmund Capon OBE AM telah dilantik sebagai pengerusi lembaga,[20] jawatan yang dipegangnya sehingga kematiannya pada 2019.[21]

Pada 2018 A4 bekerjasama dengan Sydney Biennale untuk kali kedua.[22]

Pada April 2021, dana kebudayaan Agensi Hak Cipta mengumumkan pelancaran siri komisen artistik selama tiga tahun, dengan kerjasama 4A, Australian Centre for Seni Kontemporari di Melbourne, dan Institut Seni Moden di Brisbane. Komisen, bernilai A$80,000, direka bentuk untuk menyokong artis visual pertengahan kerjaya dan mantap dengan komisen serta pameran solo. Artis Australia Barat TextaQueen telah dianugerahkan komisen sulung.[23]